A Crowdsourced Experiment for Tempo Estimation of Electronic Dance Music

Relative to other datasets, state-of-the-art tempo estimation algorithms perform poorly on the GiantSteps Tempo dataset for electronic dance music (EDM). In order to investigate why, we conducted a large-scale, crowdsourced experiment involving 266 participants from two distinct groups. The quality of the collected data was evaluated with regard to the participants' input devices and background. In the data itself we observed significant tempo ambiguities, which we attribute to annotator subjectivity and tempo instability. As a further contribution, we then constructed new annotations consisting of tempo distributions for each track. Using these annotations, we re-evaluated two recent state-of-the-art tempo estimation systems achieving significantly improved results. The main conclusions of this investigation are that current tempo estimation systems perform better than previously thought and that evaluation quality needs to be improved. The new crowdsourced annotations will be released for evaluation purposes.

他のデータセットと比較して、最先端のテンポ推定アルゴリズムは、エレクトロニックダンスミュージック（EDM）用のGiantSteps Tempoデータセットではうまく機能しません。その理由を調査するために、2つの異なるグループからの266人の参加者を含む大規模なクラウドソーシング実験を実施しました。収集されたデータの質は参加者の入力装置と背景に関して評価された。データそのものの中に、私たちは重要なテンポのあいまいさを観察しました。さらなる貢献として、我々はそれから各トラックのテンポ分布から成る新しいアノテーションを構築しました。これらのアノテーションを使用して、2つの最近の最先端のテンポ推定システムを再評価して、大幅に改善された結果を達成しました。この調査の主な結論は、現在のテンポ推定システムは以前に考えられていたよりも良く機能し、そして評価品質は改善される必要があるということです。新しいクラウドソーシングアノテーションは評価目的でリリースされる予定です。

@inproceedings{SchreiberM18a,

author = {H. Schreiber and

M. M{\"{u}}ller},

title = "{A Crowdsourced Experiment for Tempo Estimation of Electronic Dance

Music}",

booktitle = {Proceedings of the 19th International Society for Music Information

Retrieval Conference, {ISMIR} 2018, Paris, France, September 23-27,

2018},

pages = {409--415},

year = {2018},

crossref = {DBLP:conf/ismir/2018},

timestamp = {Tue, 20 Nov 2018 15:33:12 +0100},

}